Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning
陈旧但稳定：面向异步强化学习的陈旧自适应信任域
🧭 异步 RL 训练稳定性优化
Tencent Hy LLM Frontier · National University of Singapore · University of Maryland, College Park · University of Georgia · Indiana University
用 detached log-ratio 作为陈旧度代理，自适应收缩 PPO 区间端点，稳定异步 RL 训练
📌 工作参考价值（4 点）
- 在电商/广告推荐系统的在线异步 RL 训练（如 PPO 策略梯度）中，可直接复用 detached log-ratio 作为 staleness 代理，无需额外模型即可量化策略与行为策略的偏差，据此识别高风险更新样本。
- 采用 仅收缩 sign-selected 端点 的区间约束，在保留大部分 token 原有 PPO 行为的同时，仅对高陈旧度导致的异常外向更新进行保守截断，实现细粒度稳定控制。
- 针对推荐模型可能采用的 MoE 架构，路由重放（routing replay） 技巧可缓解异步陈旧带来的路由不一致问题，与裁剪配合形成互补稳定器，适合大规模稀疏激活的推荐模型训练。
- 工程上，该方法在 SGLang 多推理引擎 + Megatron 异步训练框架下验证有效，可直接迁移到类似解耦架构的推荐 Agent 在线学习系统中，提升训练吞吐下的策略稳定性。